Có 15 phụ âm, 4 nguyên âm trong tiếng Kavalan.[6]

Trong tiếng Kavalan, các âm vị sau trong ngôn ngữ Nam Đảo nguyên thuỷ đã hợp nhất:[5]

• *n, *N, *j, *ɲ > n
• *t, *T, *c > t
• *d, *D, *Z > z
• *s, *S > s
• *q, *ʔ, *H: biến mất

Các âm vị ngôn ngữ Nam Đảo nguyên thuỷ sau được tách ra:

• *k > q và k
• *l > r và ʁ (viết là R)
• *a > i (khi ở gần với q) và a

Tiếng Kavalan nổi bật do có nhiều cụm phụ âm. Đây còn là một trong hai ngôn ngữ Nam Đảo ở Đài Loan có phụ âm gấp đôi, ngôn ngữ còn lại là tiếng Basay (Blust 2009:642). Phụ âm gấp đôi cũng hiện diễn trong nhiều ngôn ngữ Bắc Philippine và trong một ngôn ngữ Trung Philippine là tiếng Bikol Rinconada (Blust 2009:220).